Transcrição da Prova — João Pedro Silva Martins
Matrícula: 20233009035 • Turma1 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: João Pedro Silva Martins
Matrícula: 20233009035
Turma: turma1
Taxa de Legibilidade Estimada: 90%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“A equipe está errada porque a perda de validação sobe após a Época 8, o que indica overfitting. O treino devia ter parado aí, o early stopping.”
Observações de Leitura (OCR): Cursiva rápida em grafite; identifica com clareza o início do sobreajuste na época 8 e a técnica de parada antecipada (early stopping).
Item 1.b — Representação e Retropropagação (2,0 pontos)
“Dados numéricos devem ser normalizados e os categóricos convertidos. A retropropagação ajusta os pesos da rede calculando os gradientes do erro.”
Observações de Leitura (OCR): Menciona normalização, conversão de variáveis categóricas e ajuste de pesos via gradientes do erro.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“São necessárias validação cruzada estratificada e métricas como Recall. A reprodutibilidade é garantida fixando a semente aleatória.”
Observações de Leitura (OCR): Cita validação cruzada estratificada, sensibilidade/recall e fixação de sementes pseudoaleatórias.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“No overfitting, o modelo falha na validação. No covariate shift, a distribuição de iluminação muda, o que se confirma comparando as fotos de dia e noite. Falhas de rotulação acabam-se pela concordância entre anotadores.”
Observações de Leitura (OCR): Distingue as três causas experimentais: validação para overfitting, contraste dia/noite para mudança covariável e concordância interanotador para rótulos ruidosos.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“Uma CNN é ideal por extrair padrões visuais. A estratégia é congelar as primeiras camadas de um modelo pré-treinado, ajustar as finais e usar data augmentation.”
Observações de Leitura (OCR): Resposta concisa e correta: extração hierárquica por convolução, congelamento de camadas iniciais (fine-tuning) e aumento sintético de dados.
Item 2.c — Cautela Amostral (1,0 ponto)
“Com poucos dados noturnos, deve-se usar intervalos de confiança e rodar testes em paralelo antes da aprovação.”
Observações de Leitura (OCR): Aponta a necessidade de margens estatísticas de erro (intervalos de confiança) e testes assistidos/paralelos.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“Fixar o limiar em 0,50 é um erro porque, quando o modelo prevê 0,50, a taxa real é de apenas 18%. O modelo é superconfiante e gera alarmes falsos em excesso.”
Observações de Leitura (OCR): Leitura correta do gráfico de calibração (\(\hat{p}=0{,}50 \implies \text{Real}=18\%\)) e diagnóstico de superconfiança geradora de falsos positivos.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“F.N. são piores que F.P., o limiar deve minimizar o custo total e respeitar a capacidade máxima de atendimento da equipe.”
Observações de Leitura (OCR): Reconhece a assimetria crítica do falso negativo e a restrição de capacidade operacional da equipe de resposta rápida.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Deve-se monitorar a taxa real de eventos. Se houver alteração no perfil, a ação imediata é recalibrar o modelo ou re-treiná-lo.”
Observações de Leitura (OCR): Aponta acompanhamento de deriva e recalibração/retreinamento como ações imediatas.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“O Word2Vec usa vetores estáticos enquanto o BERT entende o contexto completo. A similaridade do cosseno mede proximidade angular, mas não garante a validade do documento.”
Observações de Leitura (OCR): Compara vetores contextuais vs. estáticos e destaca que proximidade vetorial não garante validade normativa nem precisão factual.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“Retornar algum resultado não garante qualidade. O protocolo correto exige métricas de recuperação de informação.”
Observações de Leitura (OCR): Critica a métrica ingênua de retorno binário e defende métricas formais de IR.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“A busca híbrida junta termos exatos com contexto. Para excluir normas revogadas, utilizam-se filtros de metadados.”
Observações de Leitura (OCR): Sintetiza a complementariedade léxica-densa e o papel de metadados temporais/status de vigência.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“Retornar sempre o maior escore força respostas erradas quando não há certezas. A política exige um limiar mínimo de pontuação e uma margem entre os primeiros resultados.”
Observações de Leitura (OCR): Formulação clara dos dois critérios clássicos de abstenção: limiar mínimo de confiança (\(\tau_1\)) e margem competitiva (\(\tau_2\)).
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“Usa-se prioridade por data/hierarquia. A validação é feita com um conjunto de testes contendo perguntas válidas, sem resposta e ambíguas.”
Observações de Leitura (OCR): Propõe hierarquia de versões e partição de teste com consultas não-respondíveis/ambíguas para aferir abstenção.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Acompanhar a taxa de abstenção indica se o acervo precisa de novos dados ou se o sistema está a inventar respostas.”
Observações de Leitura (OCR): Relaciona flutuações na taxa de abstenção com cobertura documental defasada ou risco de alucinação.
Espaço para Rascunho ou Cálculos Adicionais (Opcional)
[NÃO RESPONDEU / EM BRANCO]